The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora
复制天花板：本体生成中的输入暴露控制
🧭 RAG 评估 · 输入暴露控制
DreamLab AI
提出曝光记账与复制天花板基线，证明RAG/本体生成增益主要来自上下文复制而非推理，且超出暴露恢复稀少且常为假阳性
📌 工作参考价值（4 点）
- 在构建 RAG / 知识库问答 / 本体驱动对话的评测集时，添加“是否已暴露在输入上下文”字段：统计模型输出中与上下文重叠的 gold item，避免把复制能力当作推理能力。可计算 copy ceiling（直接复制检索块中目标答案的 recall）作为 judge-free 基线，任何 grounding 提升都要报告 signed gain over copy。
- 对生成式推荐/文案生成评估，尤其基于 Semantic ID 或知识图谱的生成，若评测指标依赖目标 ID 或关键词是否出现在输出中，务必检查这些 ID/词是否已在检索上下文或 prompt 中出现；否则会严重高估模型。可通过 rephrasing 系统性问题、避开高频标题词来测试真实泛化。
- 对少量“超出暴露的恢复”保持警惕：自动评分器给出的少量 unexposed credits 很可能为假阳性，需用 stratified audit + 引用验证（quote-gate）复核。电商场景中，模型“举一反三”的推荐解释可借鉴此方法：对声称的推理链路要求引用出处，否则视为无效。
- 阴性对照设计：在 A/B 评估生成质量时，除了对比“无上下文”和“有 scaffold”，还要加入一个“格式良好但与任务无关的语料块”作为对照，否则无法证明特定 scaffold 的内容贡献。这个思路可用于评估推荐理由生成或商品卖点提炼的模型。